LLM 很强大，但也存在一些明显缺点，比如幻觉问题、可解释性差、抓不住问题重点、隐私和安全问题等。检索增强式生成（RAG）可大幅提升 LLM 的生成质量和结果有用性。
人会有幻觉，大型语言模型也会有幻觉。近日，OpenAI 安全系统团队负责人 Lilian Weng 更新了博客，介绍了近年来在理解、检测和克服 LLM 幻觉方面的诸多研究成果。
只要仍使用英语训练 LLM 模型，美国就还有优势。
Meta搞了个很牛的LLM Compiler，帮助程序员更高效地写代码。
谷歌作为全球领先的科技公司，在 AI 领域拥有深厚的积累和卓越的创新能力，在谷歌眼里，生成式 AI 带来了哪些机会？Google AI 是如何在谷歌产品中落地的？Google Cloud 提供了一系列工具和平台，如何帮助开发者构建和部署自己的专属 LLM 和 Agent？负责任的 AI 为企业带来哪些价值？
上下文学习 (in-context learning, 简写为 ICL) 已经在很多 LLM 有关的应用中展现了强大的能力，但是对其理论的分析仍然比较有限。人们依然试图理解为什么基于 Transformer 架构的 LLM 可以展现出 ICL 的能力。
很多人认为智能体（agent）是生成式人工智能的未来趋势。但对于智能体应该如何发展大家却看法不一。基于简单的链式流程的智能体还不够灵活或强大，没有真正利用好 LLM 范式，而完全自主的智能体往往又会失效，没法用。在二者之间找到平衡的“金凤花”智能体正赢得青睐。
本⽂介绍由清华等⾼校联合推出的⾸个开源的⼤模型⽔印⼯具包 MarkLLM。MarkLLM 提供了统⼀的⼤模型⽔印算法实现框架、直观的⽔印算法机制可视化⽅案以及系统性的评估模块，旨在⽀持研究⼈员⽅便地实验、理解和评估最新的⽔印技术进展。通过 MarkLLM，作者期望在给研究者提供便利的同时加深公众对⼤模型⽔印技术的认知，推动该领域的共识形成，进⽽促进相关研究的发展和推⼴应⽤。
当前主流的视觉语言模型（VLM）主要基于大语言模型（LLM）进一步微调。因此需要通过各种方式将图像映射到 LLM 的嵌入空间，然后使用自回归方式根据图像 token 预测答案。
大型语言模型（LLM）的一个主要特点是「大」，也因此其训练和部署成本都相当高，如何在保证 LLM 准确度的同时让其变小就成了非常重要且有价值的研究课题。
